Questão 4 (2.5 pontos)¶
Dada uma imagem query.jpg de uma pintura da qual não sabemos o artista, gostaríamos de fazer uma busca numa base de dados e recuperar obras similares de acordo com suas cores. Para isso utilizaremos um descritor baseado em cores conhecido por Border-Interior Classification (BIC)
Stehling, R. O., Nascimento, M. A., & Falcão, A. X. (2002). A compact and efficient image retrieval approach based on border/interior pixel classification. In Proceedings of the eleventh international conference on Information and knowledge management (pp. 102-109).
O BIC funciona da seguinte forma:
- Transforma a imagem em um único canal de cores
- Reescala o número de cores da imagem para $C$ cores
- Computa dois histogramas de cor na imagem:
- Para os pixels considerados "interior", cuja cor seja igual à dos 4 vizinhos (cima, baixo, direita e esquerda)
- Para todos os pixels da imagem, considerados de "borda". Aqui também entram os pixels na extremidade da imagem (ou seja as primeiras e últimas linhas/colunas)
- Normaliza cada histograma, concatena os histogramas em um único vetor e normaliza novamente o vetor concatenado
Exemplo seja a matriz abaixo uma imagem com $C=4$, ou seja, com cores 0, 1, 2 e 3:
|
|
|
|
|
|
| 3 |
3 |
3 |
2 |
2 |
0 |
| 3 |
3 |
3 |
2 |
2 |
2 |
| 3 |
3 |
3 |
2 |
2 |
2 |
| 3 |
3 |
3 |
3 |
2 |
2 |
| 0 |
3 |
3 |
1 |
2 |
0 |
Os valores em negrito correspondem à cores "interior" e o restante de "borda".
Assim, teríamos o seguintes histogramas:
h_borda = [3,1,9,11]
h_inter = [0,0,2,4]
Note que cada vetor representa as frequências, em ordem, das cores 0, 1, 2 e 3. Por exemplo, há 3 pixels da cor 0 referentes à borda, há 2 pixels da cor 2 referentes a interior.
Após computar os histogramas, é preciso normalizá-los para evitar problemas com imagens de diferentes resoluções. Diferentes métodos podem ser utilizados. Aqui utilizaremos a normalização L1, dividindo os elementos pela soma absoluta do vetor, resultando em:
h_borda_nr = [0.125, 0.0417, 0.375, 0.4583]
h_inter_nr = [0.000, 0.0000, 0.333, 0.6667]
Assim, para uma determinada imagem com $C$ cores, o vetor de características terá $2\cdot C$ dimensões, relativas aos 2 histogramas concatenados. Após a concatenação normalizamos novamente:
bic_norm = [0.0625, 0.0208, 0.1875, 0.2292, 0.0000, 0.0000, 0.1667, 0.3333]
Esse será o vetor de características final a ser utilizado
Use o descritor BIC com $C=32$ para as imagens disponibilizadas. Use a função disponibilizada rescale_image_colors() para reescalar a imagem.
Faça uma busca no diretório paintings21, retornando as 5 imagens mais similares a query.jpg de acordo com o descritor BIC e a distância Euclidiana. Exiba a imagem de consulta, e também as 5 imagens retornadas, com seus nomes e valores da distância obtidos.
